Web Survey Bibliography
Title Options of automating internet-based Career-counselling - an example
Author Montel, C.
Year 2005
Access date 22.04.2005
Abstract The major part of decisions concerning professional career is taken without consulting a personnel psychologist before. That may be caused by the limited availability of adequate consulting services for private customers (which results in high costs for proficient advisory service). However, with regard to possible benefits to the individual, which arise from proper consultation by a personnel psychologist, the chances of an increased availability of such services become obvious.A wide variety of psychological tests to assess career-related traits of personality via the internet is available today. The results of an examination of reliability and construct validity of selected test scales are presented on the basis of a practical example. However, interpreting test results and deriving advice from these data with regard to the optimisation of job-related competencies requires expertise that laypersons usually do not have. An exemplary project is presented in which N=5116 subjects have been tested via the internet and received detailed feedback with regard to the optimization of job-related competences automatically.
The platform used to realize that project is an expert system, which is capable of examining test profiles and deducing correct advice using explicitly stated decision rules.The remaining question concerns the way how decision rules that are used within an expert system are generated. Mentioned expertise is almost never freely accessible, but stored as implicit knowledge and kept by few experts. One option of making implicit knowledge explicit is the use of certain interview techniques (e. g. HYPAG-structure, see Wottawa (1987); another approach has been developed by Scheele & Groeben, 1988); application of these techniques results in a very high workload, though. As an alternative, it is possible to analyse data that contain predictors and decisions taken by experts statistically and to induce decision rules from the data on hand. Methods based on regression statistics - such as most methods which are established in psychological research - show certain characteristics due to the structure of the underlying model, which make it difficult to induce rules from data as needed. As an alternative, a new configuration-based approach is presented and discussed. The new approach is based on the search of performance-related configurations of test values, which can be used as empirically-founded reference profiles when counselling.
The platform used to realize that project is an expert system, which is capable of examining test profiles and deducing correct advice using explicitly stated decision rules.The remaining question concerns the way how decision rules that are used within an expert system are generated. Mentioned expertise is almost never freely accessible, but stored as implicit knowledge and kept by few experts. One option of making implicit knowledge explicit is the use of certain interview techniques (e. g. HYPAG-structure, see Wottawa (1987); another approach has been developed by Scheele & Groeben, 1988); application of these techniques results in a very high workload, though. As an alternative, it is possible to analyse data that contain predictors and decisions taken by experts statistically and to induce decision rules from the data on hand. Methods based on regression statistics - such as most methods which are established in psychological research - show certain characteristics due to the structure of the underlying model, which make it difficult to induce rules from data as needed. As an alternative, a new configuration-based approach is presented and discussed. The new approach is based on the search of performance-related configurations of test values, which can be used as empirically-founded reference profiles when counselling.
Abstract - optional Der überwiegende Teil berufs- und karriererelevanter Entscheidungen wird ohne Nutzung psychologisch-diagnostischer Beratung gefällt. Die Gründe dafür liegen einerseits in einer knappen Verfügbarkeit der entsprechenden Beratungsmöglichkeiten, andererseits in hohen Kosten, die für Coaching- und Personalentwicklungsmaßnahmen entstehen. Betrachtet man die Leistungsfähigkeit psychologischer Beratung in der Optimierung persönlicher Kompetenzen, wird der mögliche Nutzen einer fundierten Beratung für die individuelle Karriereplanung deutlich.
Die psychologische Diagnostik stellt mittlerweile eine breite Vielfalt von Testverfahren zur Untersuchung berufs- und karriererelevanter Persönlichkeitsmerkmale über das Internet zur Verfügung. Anhand eines Anwendungsbeispiels werden Befunde zu Konstruktvalidität und Messgenauigkeit ausgewählter Verfahren präsentiert. Anwendungsseitig bleibt jedoch auch bei qualitiativ hochwertigen Testverfahren das Problem bestehen, dass die Interpretation der Testprofile und deren Umsetzung in eine Empfehlung an die Rat suchende Person Expertenwissen erfordert, über das der Laie nicht verfügt. Das Anwendungsbeispiel zeigt, wie eine automatisierte Interpretation von über das Internet erfassten Testprofilen und deren Umsetzung in eine für Laien verständliche, berufsberatende Ergebnisrückmeldung für N=5116 Testungen realisiert wurde. Die dazu verwendete Plattform besteht in einem System, das in im Sinne eines Expertensystems mittels flexibel änderbaren Interpretationsregeln aus Wertkonfigurationen innerhalb der Testprofile die entsprechenden Empfehlungen abzuleiten vermag.Inhaltlich stellt sich das Problem, wie die Regeln, nach denen bei vorliegen bestimmter Wertkonfigurationen Empfehlungen formuliert werden, gewonnen werden. Das entsprechende Expertenwissen dazu liegt meist nicht explizit, sondern in Form impliziten Handlungswissens vor, muss also vor seiner Formalisierung zunächst expliziert werden. Dies kann über geeignete Interviewtechniken wie z. B. HYPAG - Structure, (Wottawa, 1987) oder die Heidelberger Struktur-Lege-Technik (Scheele & Groeben, 1988) erreicht werden, was stets mit einem sehr hohen Arbeits- und Zeitaufwandes verbunden ist.
Als Alternative bietet sich die statistische Auswertung bereits gefällter Expertenentscheidungen an, um auf diesem Wege zu geeigneten Entscheidungsmodellen zu gelangen. Bei dieser Analyse zeigen die in der Psychologie gängigen linearstatistischen Verfahren Eigenschaften, die eine Übersetzung der Modellstruktur in Entscheidungsregeln erschweren. Als mögliche Alternative wird eine neue Auswertungsmethode vorgestellt, die über einen konfiguralen Ansatz Anforderungsprofile auf Basis geeigneter Test- und Kriteriumsdaten erstellt und die Leistungsfähigkeit dieses Ansatzes diskutiert.
Die psychologische Diagnostik stellt mittlerweile eine breite Vielfalt von Testverfahren zur Untersuchung berufs- und karriererelevanter Persönlichkeitsmerkmale über das Internet zur Verfügung. Anhand eines Anwendungsbeispiels werden Befunde zu Konstruktvalidität und Messgenauigkeit ausgewählter Verfahren präsentiert. Anwendungsseitig bleibt jedoch auch bei qualitiativ hochwertigen Testverfahren das Problem bestehen, dass die Interpretation der Testprofile und deren Umsetzung in eine Empfehlung an die Rat suchende Person Expertenwissen erfordert, über das der Laie nicht verfügt. Das Anwendungsbeispiel zeigt, wie eine automatisierte Interpretation von über das Internet erfassten Testprofilen und deren Umsetzung in eine für Laien verständliche, berufsberatende Ergebnisrückmeldung für N=5116 Testungen realisiert wurde. Die dazu verwendete Plattform besteht in einem System, das in im Sinne eines Expertensystems mittels flexibel änderbaren Interpretationsregeln aus Wertkonfigurationen innerhalb der Testprofile die entsprechenden Empfehlungen abzuleiten vermag.Inhaltlich stellt sich das Problem, wie die Regeln, nach denen bei vorliegen bestimmter Wertkonfigurationen Empfehlungen formuliert werden, gewonnen werden. Das entsprechende Expertenwissen dazu liegt meist nicht explizit, sondern in Form impliziten Handlungswissens vor, muss also vor seiner Formalisierung zunächst expliziert werden. Dies kann über geeignete Interviewtechniken wie z. B. HYPAG - Structure, (Wottawa, 1987) oder die Heidelberger Struktur-Lege-Technik (Scheele & Groeben, 1988) erreicht werden, was stets mit einem sehr hohen Arbeits- und Zeitaufwandes verbunden ist.
Als Alternative bietet sich die statistische Auswertung bereits gefällter Expertenentscheidungen an, um auf diesem Wege zu geeigneten Entscheidungsmodellen zu gelangen. Bei dieser Analyse zeigen die in der Psychologie gängigen linearstatistischen Verfahren Eigenschaften, die eine Übersetzung der Modellstruktur in Entscheidungsregeln erschweren. Als mögliche Alternative wird eine neue Auswertungsmethode vorgestellt, die über einen konfiguralen Ansatz Anforderungsprofile auf Basis geeigneter Test- und Kriteriumsdaten erstellt und die Leistungsfähigkeit dieses Ansatzes diskutiert.
Access/Direct link Homepage - conference (abstract)
Year of publication2005
Bibliographic typeConferences, workshops, tutorials, presentations
Web survey bibliography - 2005 (76)
- The ethics of research using electronic mail discussion groups; 2005; Kralik, D., Warren, J., Koch, T., Pignone, G., Price, K.
- The Analyses of Domestic Study about Internet Survey; 2005; Rui, L., Tie-ying, S.
- Controlling the Baseline Speed of Respondents: An Empirical Evaluation of Data Treatment Methods of...; 2005; Mayerl, J.
- Determinanten der Rücklaufquote in Online-Panels; 2005; Batanic, B., Moser, K.
- On the cost-efficiency of probability sampling based mail surveys with a Web response option; 2005; Werner, P.
- Expert workshop on mixed mode data collection in comparative social surveys; 2005; Roberts, C.
- The Effect Of A Simultaneous Mixed-Mode (Mail And Web) Survey On Respondent Characteristics And Survey...; 2005; Brennan, M.
- The total survey error approach. A guide to the new science of survey research; 2005; Weisberg, H. F.
- The professional respondent problem in online panel surveys today; 2005; Fulgoni, G.
- Satisficing behavior in online panelists; 2005; Downes-Le Guin, T.
- Reading behavior in the digital environment: Changes in reading behavior over the past ten years; 2005; Liu, Z.
- Rating versus comparative trade-off measures. Trending changes in political issues across time and predictive...; 2005; Thomas, R. K., Behnke, S., Johnson, Al., Sanders, M.
- Publication bias: Recognizing the problem, understanding its origins and scope, and preventing harm; 2005; Dickersin, K.
- Panel proliferation and quality concerns; 2005; Faasse, J.
- Gricean effects in self-administered survey. Ph.D. Dissertation; 2005; Yan, T.
- Drop-down boxes, radio buttons, or fill-in-the-blank? Web survey scale-type effects; 2005
- Does weighting for nonresponse increase the variance of survey means?; 2005; Little, R. J., Vartivarian, S.
- Big scale observations gathered with the help of client side paradata; 2005; Haraldsen, G., Kleven, O., Sundvoll, A.
- User Interface Design and Evaluation ; 2005; Stone, D., Jarrett, C., Woodroffe, M., Minocha, S.
- Adding Value to Data Through Improved Access. The Case for Web Portals; 2005; Baker, R. P.
- Multi-Mode Research and Data Linkage. Theoretical and Practical Advice; 2005; Terhanian, G.
- Architectural Design of a Survey Questionnaire and Respondent Data Repository. Practical Considerations...; 2005; Cookson, P., Sobell, J.
- Developing and validating a nursing website evaluation questionnaire; 2005; Tsai, S. - L., Chai, S.-K.
- Workaround: Site’s surveys beat pop-up blockers, yield responses; 2005; Arnold, C.
- The Story of Subject Naught: A Cautionary but Optimistic Tale of Internet Survey Research; 2005; Konstan, J. A., Ross, M. W., Rosser, B. R. S., Stanton, J. M., Edwards, W. M.
- Standards in Online Surveys. Sources for Professional Codes of Conduct, Ethical Guidelines and Quality...; 2005; Kaczmirek, L., Schulze, N.
- Computer adaptive testing; 2005; Gershon, R. C.
- Ego control and ego-resiliency: Generalization of self-report scales based on personality descriptions...; 2005; Block, J., Funder, D. C., Letzring, T. D.
- The Web experiment list: A Web service for the recruitment of participants and archiving of Internet...; 2005; Reips, U. -D., Lengler, R.
- Survey of substance use among high school students in Taipei: Web-based questionnaire versus paper-and...; 2005; Wang, Y. C., Lee, C. M., Lew-Ting, C. Y., Hsiao, C. K., Chen, W. J.
- Web Surveys. A Brief Guide on Usability and Implementation Issues; 2005; Kaczmirek, L.
- An assessment of measurement invariance between online and mail surveys ; 2005; Deutskens, E., de Ruyter, K., Wetzels, M.
- E-mail versus Web survey response rates among health education professionals; 2005; Kittleson, M. J., Brown, S. L.
- Toward An Open-Source Methodology: What We Can Learn From The Blogosphere; 2005; M.
- Aux Abonnes Absents: Liste Rouge Et Telephone Portable Dans Les Enquetes En Population Generale Sur...; 2005; Beck, F., ., Peretti-Watel, P.
- Web Versus Paper Questionnares: A Design and Functionality - Comparison; 2005; Jones, Ja., Fraser, C., Dowling, Z.
- Web Surveys and the new Disability Discrimination Act; 2005; Macer, T.
- Mixed-mode Surveys Using Mail and Web Questionnaires; 2005; Meckel, M., Baugh, P., Walters, D.
- Sampling procedure, questionnaire design, online implementation; 2005; Jackob, N., Arens, J., Zerback, T., Jowell, R., de Rouvray, C.
- Simple Approaches to Estimating the Variance of the Propensity Score Weighted Estimator Applied on Volunteer...; 2005; Isaksson, A., Lee, S., de Rouvray, C.
- Simple Approaches to Estimating the Variance of the Propensity Score Weighted Estimator Applied on Volunteer...; 2005; Isaksson, A., Lee, S.
- Alternative Modes for Health Surveillance Surveys: An Experiment with Web, Mail, and Telephone; 2005; Link, M. W., Mokdad, A.
- An Experimental Comparison Of Web And Telephone Surveys; 2005; Fricker, S., Galesic, M., Tourangeau, R., Yan, T.
- Organizational Virtual Communities: Exploring Motivations Behind Online Panel Participation; 2005; Daugherty, T., Lee, W.-N., Gangadharbatla, H., Kim, K., Outhavong, S.
- Promoting Uniform Question Understanding in Today's and Tomorrow's Surveys; 2005; Conrad, F. G., Schober, M. F.
- Is a Web survey as effective as a mail survey? A field experiment among computer users; 2005; Kiernan, N. E., Kiernan, M., Oyler, M. A., Gilles, C.
- The effect of personalization on response rates and data quality in web surveys; 2005; Heerwegh, D., Vanhove, T., Matthijs, K., Loosveldt, G.
- When Methodology Interferes With Substance; 2005; Schoen, H., Faas, T.
- Web-based and Mailed Questionnaires: A Comparison of Response Rates and Compliance; 2005; Baelter, K., Balter, O., Fondell, E., Trolle-Lagerros, Y.
- Bleeding Edge or Proven Technology? The Fact and the Fiction of Mobile Survey Computing; 2005; Cameron, M. R.